미션 완료! 당신은 인공지능 언어의 기본 구성 요소를 모두 마스터했습니다!아니요, 조금 더 정확하게 해보세요! 그 시퀀스를 다시 만들어 봅시다!지식 업로드됨: 토큰 및 시퀀스 ... 그렇다면 그것은 ... ? ... 아니면 ...
인공지능이 읽기 위해 사용하는 작은 단위는 무엇이라고 부르나요?
맞습니다! 토큰은 "사과", "_ing", 또는 "?"처럼 인공지능이 언어를 구성할 때 사용하는 작은 단위입니다.
컴퓨터는 토큰을 어떻게 표현하여 이해할 수 있을까요?
정답입니다! 컴퓨터는 숫자만 이해하므로, 각 토큰마다 고유한 식별 번호가 부여됩니다.
"친구"와 "선박"의 토큰이 있다면, 숫자 목록으로 나타낼 때 "친구관계"라는 단어는 무엇이라고 부릅니까?
정확합니다! 토큰 번호의 순서 있는 리스트를 시퀀스라고 부릅니다.
왜 시퀀스 안의 토큰 순서가 그렇게 중요할까요?
정확합니다! 동일한 토큰이 다른 순서로 나열되면 문장 전체의 의미가 바뀔 수 있습니다.
인공지능이 한 번에 처리할 수 있는 토큰의 최대 수는 얼마입니까?
정답입니다! 컨텍스트 창은 대화 중 인공지능이 "기억하고 있는" 정보의 양에 대한 경계입니다.
마침표 (.) 같은 하나의 구두점도 토큰이 될 수 있나요?
정답입니다! 토큰은 전체 단어, 단어의 일부, 또는 구두점마저 포함될 수 있습니다. 모든 것이 구성 요소입니다!
1
토큰화 및 시퀀스
에보클래스-아이004강의 4
0
🤖 삐빅! 환영합니다, 후보군! 아래 하위 주제를 선택해 인공지능이 토큰화를 통해 어떻게 "읽는지"를 알아보세요.
파이봇 명령라이브
삐빅!안녕하세요, 후보군! 인공지능이 읽는 법을 가르치기 위해, 먼저 단어들을 작은 "레고" 조각처럼 자르는 작업부터 시작해야 합니다. 컴퓨터가 단어를 숫자로 바꾸는 방법을 배우고 싶으신가요?
주제 진행 상황0%
훌륭한 선택입니다! 토큰은 레고 블록과 같습니다. "친구관계" 같은 단어는 "친구"와 "선박"과 같이 더 작은 조각으로 나뉩니다. 간단한 "." 역시 토큰입니다! 인공지능에게는 전체 긴 문장보다 이 조각들이 다루기 더 쉽습니다.
1
하위 주제 1
토큰이란 무엇인가요?
"친구"와 "선박"과 같은 작은 구성 요소로 텍스트를 자르는 것
이것을 보세요! 토큰을 얻으면 인공지능은 각각에 비밀 식별 번호를 부여합니다. 이러한 숫자들이 "시퀀스"를 형성합니다. 기억하세요: 순서가 중요합니다! "개가 사람을 물었다"와 "사람이 개를 물었다"는 동일한 블록을 사용하지만, 시퀀스는 전혀 다른 이야기를 전달합니다!
2
하위 주제 2
시퀀스의 힘
순서가 모든 것을 결정하는 수학적 리스트로 블록을 변환하는 것
알고 계셨나요? 인공지능에는 "컨텍스트 창"이 있는데, 마치 손 크기와 같습니다. 처음 부분을 잊기 시작하기 전까지는 일정 수의 토큰만 "머릿속"에 담을 수 있습니다!
알고 계셨나요?
인공지능에는 "컨텍스트 창"이 있는데, 마치 손 크기와 같습니다. 처음 부분을 잊기 시작하기 전까지는 일정 수의 토큰만 "머릿속"에 담을 수 있습니다!
로딩 중...
⭐⭐⭐

미션 완료!

당신은 토큰 마스터입니다!